Khi các dịch vụ dịch tự động gia tăng lên tới hàng chục (như các dịch vụ dịch tự động từ tiếng Anh sang tiếng Pháp) thì một yêu cầu được đưa ra là cần phải lựa chọn dịch vụ nào tốt nhất. Việc đánh giá chất lượng của một sản phẩm không thể căn cứ trên vài thí nghiệm đơn giản, do vậy các chuyên gia đã thiết kế hẳn một chương trình đánh giá chuyên nghiệp một cách hoàn toàn tự động. Phương pháp của họ là sử dụng một số lượng lớn các tài liệu dịch bởi con người và đã được thẩm định đạt chất lượng, sau đó so sánh các bản dịch này với bản dịch của máy, tỉ lệ so khớp cho kết quả phù hợp càng cao thì sản phẩm đó càng tốt. Hai phương pháp thường sử dụng để đánh giá đó là BLEU (BiLingual Evaluation Understudy) và NIST (National Institute of Standards and Technology) [3].